1. はじめに
最終更新日: 2022 年 2 月 8 日
マルチクラウド ストリーミングが必要な理由
企業は、複数のクラウド プラットフォームにワークロードを分散することを積極的に検討しています。複数のクラウド プロバイダをビジネスの運用ワークフローに導入することには、次のようなメリットがあるためです。
- ベンダー ロックイン
- 事業継続のリスクを軽減する
- 依存関係と 1 つのテクノロジー スタックへの依存
作成するアプリの概要
この Codelab では、Confluent Cloud を活用して AWS と GCP 間のマルチクラウド データ ストリーミングを設定します。次のことを行います。
- GCP の Confluent Cloud に専用の Kafka クラスタを設定します。
- プライベート ネットワークでアクセスできるように、Confluent Cloud と GCP プロジェクトの間に VPC ピアリングを設定します。
- 両方のハイパースケーラーのリソースが接続できるように、AWS プロジェクトと GCP プロジェクトの間に VPN トンネルを設定します。
- AWS から Confluent Kafka にアクセスし、Confluent Kafka Cloud を活用して AWS から GCP へのストリーミング パイプラインを設定します。
学習内容
- Confluent Cloud Kafka と GCP プロジェクトの間に VPC ピアリングを設定する方法。
- AWS プロジェクトと GCP プロジェクトの間に VPN トンネルを設定する方法。
- AWS プロジェクトから GCP でホストされている Confluent Cloud にアクセスする方法。
この Codelab では、マルチクラウド データ ストリーミングの構築に焦点を当てます。関連のない概念やコードブロックについては詳しく触れず、コードはコピーして貼るだけの状態で提供されています。
必要なもの
- AWS プロジェクトへのアクセス。
- GCP プロジェクトへのアクセス。
- GCP と AWS Cloud の経験。
- GCP Marketplace の Confluent Kafka サブスクリプション。
2. 設定方法
AWS と GCP 間の VPN 接続を設定する
- このデモでは、GCP のデフォルト VPC（asia-southeast1）と AWS の ng-vpc-103-mum（ap-south1）を使用します。
- AWS で、カスタマー ゲートウェイと仮想プライベート ゲートウェイ（VPG）を作成します。VPG を AWS VPC に接続します。
- AWS でサイト間 VPN 接続を作成します。
- AWS で作成したトンネルの構成ファイルをダウンロードします。選択
- ベンダー : Generic
- プラットフォーム : 汎用
- ソフトウェア : ベンダーに依存しない
- Ike バージョン : Ikev2
- GCP で VPN ゲートウェイと VPN トンネルを作成します。
ダウンロードした AWS 構成ファイルから、両方のトンネルの IP アドレスと Ikev2 鍵を指定します。
- 完了すると、トンネルは AWS と GCP で UP および Running になります。
これでトンネルの設定は完了です。
- Confluent Cloud の構成に使用する CIDR ブロックを選択します。これを AWS の静的ルートとして VPN トンネルに追加します。
GCP Marketplace の Confluent Kafka
- GCP Marketplace から Confluent Kafka をサブスクライブします。
- Confluent Cloud にログインして専用クラスタを作成する
- ピアリング用に GCP プロジェクト ID と VPC ネットワークの詳細を指定します。
- 提供された Confluent Cloud クラスタ ネットワークの詳細を使用して、GCP エンドで VPC ピアリングを完了します。
- Confluent Cloud クラスタがアクティブになり、GCP とピアリングされました。
- GCP から Confluent クラスタへの接続をテストします。
- GCE インスタンスをプロビジョニングして Python3 をインストールします。
- Confluent Cloud で Python クライアント キーを生成する
- GCP インスタンスからテスト スクリプト「producer.py」を実行します。
- 次に、AWS インスタンスにコードベースの例をダウンロードし、「producer.py」スクリプトを実行して、GCP から Confluent Cloud へのハイブリッド接続をテストします。
3. 完了
お疲れさまでした。AWS と GCP の間でマルチクラウド クロスリージョン Confluent Kafka ストリーミング プラットフォームを正常に構築できました。
役立つ Codelab**?**
以下の Codelab をご覧ください。